# -*- coding: utf-8 -*-

# 1.	获取下面所有分类标签的url；（8分）
# 1.	获取最新上线的电影名称（8分）
# 2.	获取最新上线的电影评分（8分）
# 3.	获取最新电影的url（8分）
# 1.	获取影片的演员列表（8分）
# 2.	获取影片类型（8分）
# 3.	获取影片播放量（8分）
# 4.	获取影片简介（8分）
# 5.	获取影片点赞数（8分）
# 6.	获取影片差评数（8分）
# 1.	连接MongoDB（5分）
# 2.	连接mysql（5分）
# 3.	数据入MongoDB库（5分）
# 4.	数据入mysql库（5分）

import scrapy
import re


class DianyingSpider(scrapy.Spider):
    name = 'dianying'
    start_urls = ['http://www.iqiyi.com/']

    def parse(self, response):
        for div in range(1, 5):
            all_a = response.xpath(
                "//div[@id='nav_sec_K" + str(
                    div) + "']/div[@class='nav-list']/div[@class='nav-list-item']/a[@class='nav-list-link']")
            for a in all_a:
                name = a.xpath("./text()")[0].extract()
                href = a.xpath("./@href")[0].extract()
                if href[0] != 'h':
                    href = 'https:' + href
                # print(name, href)
        yield scrapy.Request(url='http://www.iqiyi.com/dianying/', callback=self.parse_dy)

    def parse_dy(self, response):
        all_li = response.xpath(
            "//div[@class='qy-mod-wrap j_pingback_view j_slider']/div[@class='qy-mod-list']/ul[@class='qy-mod-ul j_slider_list']/li[@class='qy-mod-li']")
        for li in all_li:
            title = li.xpath(".//p[@class='main score']/a[@class='link-txt']/text()")[0].extract()
            score = li.xpath(".//p[@class='main score']/span[@class='text-score']/text()")[0].extract()
            href_xq = 'https:' + li.xpath(".//p[@class='main score']/a[@class='link-txt']/@href")[0].extract()
            # print(title, score, href_xq)
            yield scrapy.Request(url=href_xq, callback=self.parse_dy_xq)

    def parse_dy_xq(self, response):
        yanyuan = response.xpath(
            "//ul[@class='role-tab']/li/div[@class='role-wrap']/div[@class='role-con']/h3[@class='actor-name']/a[@class='role-name-link']/text()")[
                  1:].extract()
        leixing = re.findall('"categories":"(.*?),"', response.text, re.S)[0]
        # bofangliang =
        jianjie = response.xpath("//span[@class='item-content']/span[@class='content-paragraph']/text()")[0].extract()
        # dianzan=
        # chaping=
        print(jianjie)
